import pandas as pd
import plotly.express as px
import plotly.io as pio
pio.renderers.default = "notebook"
pd.set_option('display.max_colwidth', None)
d1 = pd.read_csv("pd0.csv")
d1
| tempo | triplas | |
|---|---|---|
| 0 | 34.258151 | 100 |
Exemplo de consulta:
prefix owl: \http://www.w3.org/2002/07/owl#\
prefix rdfs: \http://www.w3.org/2000/01/rdf-schema#\
select * where {
?s a <http://www.sefaz.ma.gov.br/ontology/Acordao>;
?p ?o.
} LIMIT 100
d2 = pd.read_csv("pd1.csv")
d2
| tempo | classe | triplas | |
|---|---|---|---|
| 0 | 0.367132 | Acórdão | 100 |
| 1 | 1.858664 | Agente | 100 |
| 2 | 1.192809 | Arma | 100 |
| 3 | 0.137193 | Arquivo | 100 |
| 4 | 0.396181 | Ativa | 100 |
| ... | ... | ... | ... |
| 136 | 0.129054 | Unidade Federativa | Estado | 100 |
| 137 | 0.108293 | Unidade Fiscal | 32 |
| 138 | 4.172983 | Usuário | 100 |
| 139 | 0.201607 | Órgão | 100 |
| 140 | 2.778443 | Evento | 100 |
141 rows × 3 columns
p = {'inválidas':d2[(d2['triplas']==0) | (d2['triplas']==-1)].shape[0],'válidas':d2.shape[0]-d2[(d2['triplas']==0) | (d2['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de classes válidas')
fig.show()
d2['timeout'] = 'Não'
d2.loc[d2['triplas']==-1,'timeout'] = 'Sim'
p= d2['timeout'].value_counts().reset_index(name="count")
fig = px.pie(p,values='count', names='index', title='Percentual de classes com erros')
fig.show()
d2[d2['triplas']==-1]
| tempo | classe | triplas | timeout | |
|---|---|---|---|---|
| 15 | 1200.101116 | Combustível | -1 | Sim |
| 72 | 1200.016741 | Medicamento | -1 | Sim |
| 91 | 1200.078987 | Produto | -1 | Sim |
p = {'vazias':d2[d2['triplas']==0].shape[0],'povoadas':d2.shape[0]-d2[d2['triplas']==0].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de classes vazias')
fig.show()
d2[d2['triplas']==0]
| tempo | classe | triplas | timeout | |
|---|---|---|---|---|
| 17 | 0.060754 | Conceito | 0 | Não |
validas = d2[(d2['triplas']!=0) & (d2['triplas']!=-1)]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<=19], x="tempo",title="histograma de tempo de execução, quando tempo [0,19]")
fig.show()
Estatísticas para consultas com tempo [0,20)
validas[validas['tempo']<20].describe()
| tempo | triplas | |
|---|---|---|
| count | 131.000000 | 131.000000 |
| mean | 1.424129 | 92.877863 |
| std | 2.777074 | 22.642378 |
| min | 0.108293 | 6.000000 |
| 25% | 0.169654 | 100.000000 |
| 50% | 0.387197 | 100.000000 |
| 75% | 1.519311 | 100.000000 |
| max | 16.798593 | 100.000000 |
fig = px.histogram(validas[validas['tempo']>=20], x="tempo",title="histograma de tempo de execução, quando tempo [20,inf]")
fig.show()
Consultas com tempo [20,inf)
validas[validas['tempo']>=20].sort_values(by="tempo",ascending=False)
| tempo | classe | triplas | timeout | |
|---|---|---|---|---|
| 69 | 235.305416 | Item | 100 | Não |
| 123 | 66.098958 | Sócio | 100 | Não |
| 100 | 48.842986 | Representante Legal Jurídico | 100 | Não |
| 85 | 33.550170 | Pessoa Física | 100 | Não |
| 84 | 33.284849 | Periodicidade | 10 | Não |
| 73 | 26.050951 | Nacionalidade | 100 | Não |
Exemplo:
prefix owl: \http://www.w3.org/2002/07/owl#\
prefix rdfs: \http://www.w3.org/2000/01/rdf-schema#\
select * where {
<http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/14769662491-10_05_2017-00371520167> ?p ?o.
} LIMIT 100
d3 = pd.read_csv("pd2.csv")
d3
| tempo | classe | triplas | |
|---|---|---|---|
| 0 | 0.280553 | Acórdão | 5 |
| 1 | 0.112787 | Agente | 5 |
| 2 | 4.241016 | Arma | 8 |
| 3 | 1.672563 | Arquivo | 12 |
| 4 | 0.136789 | Ativa | 9 |
| ... | ... | ... | ... |
| 132 | 0.116679 | Unidade Federativa | Estado | 5 |
| 133 | 0.123127 | Unidade Fiscal | 4 |
| 134 | 5.932203 | Usuário | 4 |
| 135 | 2.088598 | Órgão | 9 |
| 136 | 1.488702 | Evento | 51 |
137 rows × 3 columns
d3[(d3['triplas']==0) | (d3['triplas']==-1)]
| tempo | classe | triplas |
|---|
validas = d3[(d3['triplas']!=0) & (d3['triplas']!=-1)]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<5], x="tempo",title="histograma de tempo de execução, quando tempo [0,5)")
fig.show()
Estatísticas para consultas com tempo [0,5)
validas[validas['tempo']<5].describe()
| tempo | triplas | |
|---|---|---|
| count | 126.000000 | 126.000000 |
| mean | 0.899205 | 10.920635 |
| std | 1.165384 | 13.389909 |
| min | 0.071689 | 2.000000 |
| 25% | 0.135724 | 6.000000 |
| 50% | 0.280534 | 8.000000 |
| 75% | 1.406786 | 12.000000 |
| max | 4.804360 | 100.000000 |
fig = px.histogram(validas[(validas['tempo']>=5) & (validas['tempo']<50)], x="tempo",title="histograma de tempo de execução, quando tempo [5,49]")
fig.show()
Estatísticas para consultas com tempo [5,inf)
validas[validas['tempo']>=5].describe()
| tempo | triplas | |
|---|---|---|
| count | 11.000000 | 11.000000 |
| mean | 22.722176 | 12.909091 |
| std | 50.924397 | 7.189639 |
| min | 5.118476 | 4.000000 |
| 25% | 5.519911 | 6.500000 |
| 50% | 6.205917 | 16.000000 |
| 75% | 8.657874 | 16.000000 |
| max | 175.898431 | 28.000000 |
Consultas com tempo [5,inf)
validas[validas['tempo']>=5].sort_values(by="tempo",ascending=False)
| tempo | classe | triplas | |
|---|---|---|---|
| 67 | 175.898431 | Item | 7 |
| 16 | 16.836240 | Consumidor | 13 |
| 73 | 10.837613 | Não Contribuinte | 6 |
| 83 | 6.478134 | Pessoa Física Cadastro SEFAZ | 16 |
| 48 | 6.464979 | Estabelecimento | 28 |
| 84 | 6.205917 | Pessoa Física REDESIM | 16 |
| 134 | 5.932203 | Usuário | 4 |
| 95 | 5.742088 | Representante Legal Físico | 16 |
| 17 | 5.297734 | Contador | 16 |
| 94 | 5.132123 | Representante Legal | 16 |
| 124 | 5.118476 | Tipo de Contribuição | 4 |
Exemplo:
prefix owl: \http://www.w3.org/2002/07/owl#\
prefix rdfs: \http://www.w3.org/2000/01/rdf-schema#\
select * where {
<http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/14769662491-10_05_2017-00371520167> rdfs:label ?o.
} LIMIT 100
d4 = pd.read_csv("pd3.csv")
d4
| tempo | classe | triplas | |
|---|---|---|---|
| 0 | 0.191152 | Acórdão | 1 |
| 1 | 2.745559 | Agente | 1 |
| 2 | 0.840579 | Arma | 1 |
| 3 | 0.381193 | Arquivo | 1 |
| 4 | 0.117159 | Ativa | 1 |
| ... | ... | ... | ... |
| 132 | 0.082757 | Unidade Federativa | Estado | 1 |
| 133 | 0.088622 | Unidade Fiscal | 1 |
| 134 | 1.064507 | Usuário | 1 |
| 135 | 0.091305 | Órgão | 1 |
| 136 | 0.332799 | Evento | 1 |
137 rows × 3 columns
p = {'não tem label':d4[(d4['triplas']==0) | (d4['triplas']==-1)].shape[0],'tem label':d4.shape[0]-d4[(d4['triplas']==0) | (d4['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de classes com recursos com labels')
fig.show()
d4[(d4['triplas']==0) | (d4['triplas']==-1)]
| tempo | classe | triplas | |
|---|---|---|---|
| 57 | 0.078533 | Fornecedor Pessoa Física | 0 |
| 59 | 0.064892 | Fornecedor Restrito | 0 |
| 97 | 0.068541 | Sancionado | 0 |
validas = d4
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<5], x="tempo",title="histograma de tempo de execução tempo [0,5)")
fig.show()
Estatísticas para consultas com tempo [0,5)
validas[validas['tempo']<5].describe()
| tempo | triplas | |
|---|---|---|
| count | 136.000000 | 136.000000 |
| mean | 0.300866 | 1.073529 |
| std | 0.408214 | 0.336262 |
| min | 0.064892 | 0.000000 |
| 25% | 0.098180 | 1.000000 |
| 50% | 0.141943 | 1.000000 |
| 75% | 0.296737 | 1.000000 |
| max | 2.745559 | 2.000000 |
Estatísticas para consultas com tempo [5,inf)
validas[validas['tempo']>=5].describe()
| tempo | triplas | |
|---|---|---|
| count | 1.000000 | 1.0 |
| mean | 13.286162 | 1.0 |
| std | NaN | NaN |
| min | 13.286162 | 1.0 |
| 25% | 13.286162 | 1.0 |
| 50% | 13.286162 | 1.0 |
| 75% | 13.286162 | 1.0 |
| max | 13.286162 | 1.0 |
Consultas com tempo [5,inf)
validas[validas['tempo']>=5].sort_values(by='tempo',ascending=False)
| tempo | classe | triplas | |
|---|---|---|---|
| 67 | 13.286162 | Item | 1 |
Exemplo:
prefix owl: \http://www.w3.org/2002/07/owl#\
prefix rdfs: \http://www.w3.org/2000/01/rdf-schema#\
select * where {
?s a <http://www.sefaz.ma.gov.br/ontology/Acordao>;
<http://www.sefaz.ma.gov.br/ontology/data_final> ?o.
} LIMIT 100
d5 = pd.read_csv("pd4.csv")
d5
| tempo | classe | propriedade | triplas | |
|---|---|---|---|---|
| 0 | 0.070338 | Acórdão | data final | 0 |
| 1 | 0.163821 | Agente | name | 100 |
| 2 | 0.086122 | Agente | nome | 100 |
| 3 | 0.682855 | Agente | tem solicitação | 0 |
| 4 | 0.290937 | Agente | tem tipo de contribuição | 100 |
| ... | ... | ... | ... | ... |
| 890 | 0.061834 | Órgão | 0 | |
| 891 | 0.061961 | Órgão | idêntico / igual / mesmo que / sameAs | 0 |
| 892 | 0.672369 | Evento | tem solicitação | 100 |
| 893 | 0.991085 | Evento | código do evento | 88 |
| 894 | 0.320034 | Evento | descrição do evento | 68 |
895 rows × 4 columns
d5[(d5['triplas']==0) | (d5['triplas']==-1)]
| tempo | classe | propriedade | triplas | |
|---|---|---|---|---|
| 0 | 0.070338 | Acórdão | data final | 0 |
| 3 | 0.682855 | Agente | tem solicitação | 0 |
| 6 | 0.070223 | Agente | cpf ou cnpj | 0 |
| 9 | 0.063363 | Agente | número de contato | 0 |
| 10 | 0.071844 | Agente | contact number | 0 |
| ... | ... | ... | ... | ... |
| 887 | 0.064622 | Órgão | tem matriz | 0 |
| 888 | 0.066759 | Órgão | cnpj raíz | 0 |
| 889 | 0.068203 | Órgão | razão social | 0 |
| 890 | 0.061834 | Órgão | 0 | |
| 891 | 0.061961 | Órgão | idêntico / igual / mesmo que / sameAs | 0 |
343 rows × 4 columns
p = {'inválida':d5[(d5['triplas']==0) | (d5['triplas']==-1)].shape[0],'válida':d5.shape[0]-d5[(d5['triplas']==0) | (d5['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de propriedades de classes válidas')
fig.show()
d5['erro']='Não'
d5.loc[d5['triplas']==-1,'erro']='Sim'
p = d5['erro'].value_counts().reset_index(name="qtd")
fig = px.pie(p,values='qtd', names='index', title='Percentual de propriedades de classes que deram erro')
fig.show()
Consultas com erro
d5[d5['triplas']==-1]
| tempo | classe | propriedade | triplas | erro | |
|---|---|---|---|---|---|
| 531 | 1200.101531 | Medicamento | código do medicamento | -1 | Sim |
| 532 | 1200.022286 | Medicamento | código do produto anvisa | -1 | Sim |
p = {'propridade sem valor':d5[(d5['triplas']==0)].shape[0],'propridades com valor':d5.shape[0]-d5[(d5['triplas']==0)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de propriedades com valores por classe')
fig.show()
Consultas com retorno vazio
d5[(d5['triplas']==0)]
| tempo | classe | propriedade | triplas | erro | |
|---|---|---|---|---|---|
| 0 | 0.070338 | Acórdão | data final | 0 | Não |
| 3 | 0.682855 | Agente | tem solicitação | 0 | Não |
| 6 | 0.070223 | Agente | cpf ou cnpj | 0 | Não |
| 9 | 0.063363 | Agente | número de contato | 0 | Não |
| 10 | 0.071844 | Agente | contact number | 0 | Não |
| ... | ... | ... | ... | ... | ... |
| 887 | 0.064622 | Órgão | tem matriz | 0 | Não |
| 888 | 0.066759 | Órgão | cnpj raíz | 0 | Não |
| 889 | 0.068203 | Órgão | razão social | 0 | Não |
| 890 | 0.061834 | Órgão | 0 | Não | |
| 891 | 0.061961 | Órgão | idêntico / igual / mesmo que / sameAs | 0 | Não |
341 rows × 5 columns
validas = d5[d5['triplas']!=-1]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<5], x="tempo",title="histograma de tempo de execução com tempo [0,5)")
fig.show()
Estatísticas para consultas com tempo [0,5)
validas[validas['tempo']<5].describe()
| tempo | triplas | |
|---|---|---|
| count | 863.000000 | 863.000000 |
| mean | 0.372682 | 57.842410 |
| std | 0.649815 | 48.998918 |
| min | 0.055351 | 0.000000 |
| 25% | 0.071865 | 0.000000 |
| 50% | 0.107760 | 100.000000 |
| 75% | 0.300080 | 100.000000 |
| max | 4.843850 | 100.000000 |
Estatísticas para consultas com tempo [5,inf)
validas[validas['tempo']>=5].describe()
| tempo | triplas | |
|---|---|---|
| count | 30.000000 | 30.000000 |
| mean | 40.464005 | 93.400000 |
| std | 83.686434 | 25.118478 |
| min | 5.290740 | 0.000000 |
| 25% | 8.243502 | 100.000000 |
| 50% | 10.999602 | 100.000000 |
| 75% | 46.001028 | 100.000000 |
| max | 458.326630 | 100.000000 |
Propriedades de classes com tempo [5,inf)
validas[validas['tempo']>=5].sort_values(by='tempo',ascending=False)
| tempo | classe | propriedade | triplas | erro | |
|---|---|---|---|---|---|
| 533 | 458.326630 | Medicamento | data de fabricação | 100 | Não |
| 831 | 126.600901 | Sócio | tem qualificação sócio | 100 | Não |
| 628 | 74.168578 | Produto | descrição | 100 | Não |
| 596 | 63.871296 | Pessoa Física | name | 100 | Não |
| 597 | 53.114348 | Pessoa Física | nome | 100 | Não |
| 424 | 52.718601 | Estabelecimento RFB | contact number | 100 | Não |
| 576 | 49.898971 | Pessoa Física | CPF | 100 | Não |
| 423 | 46.952877 | Estabelecimento RFB | número de contato | 100 | Não |
| 534 | 43.145481 | Medicamento | motivo de isenção anvisa | 100 | Não |
| 428 | 39.676209 | Estabelecimento RFB | telefone | 100 | Não |
| 448 | 33.962965 | Fornecedor | nome fantasia | 100 | Não |
| 38 | 14.570664 | Ativa | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 35 | 13.278358 | Ativa | tem razão de situação cadastral | 2 | Não |
| 206 | 12.241804 | Empresa | Organização | Pessoa Jurídica RFB | tem matriz | 100 | Não |
| 708 | 12.175917 | Situação Cadastral | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 363 | 9.823288 | Estabelecimento | foi desabilitado | 100 | Não |
| 95 | 9.768437 | Combustível | percentual de gás natural | 100 | Não |
| 96 | 9.452683 | Combustível | percentual de glp | 100 | Não |
| 98 | 8.789452 | Combustível | valor de partida | 100 | Não |
| 94 | 8.716624 | Combustível | percentual de gás importado | 100 | Não |
| 93 | 8.531882 | Combustível | descrição anp | 100 | Não |
| 449 | 8.309335 | Fornecedor | tem atividade econômica | 100 | Não |
| 712 | 8.221558 | Situação Cadastral Cadastro da SEFAZ | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 720 | 8.095558 | Situação Cadastral RFB | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 57 | 8.046574 | Baixa de Ofício | idêntico / igual / mesmo que / sameAs | 0 | Não |
| 198 | 7.790758 | Empresa | Organização | Pessoa Jurídica | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 488 | 6.952229 | Inadimplente | tem inadimplencia | 100 | Não |
| 451 | 6.076857 | Fornecedor | inscrição estadual | 100 | Não |
| 605 | 5.350577 | Pessoa Física REDESIM | 100 | Não | |
| 216 | 5.290740 | Empresa | Organização | Pessoa Jurídica SEFAZ | idêntico / igual / mesmo que / sameAs | 100 | Não |
Exemplo:
SELECT * where {
BIND(<http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/14769662491-10_05_2017-00371520167> as ?node)
{
?node ?p ?o .
filter(?p != <http://www.w3.org/1999/02/22-rdf-syntax-ns#type>)
filter(isURI(?o))
}
OPTIONAL{
?s ?p2 ?node.
filter(?p2 != <http://www.w3.org/1999/02/22-rdf-syntax-ns#type>)
filter(isURI(?s))
}
}
d6 = pd.read_csv("pd5.csv")
d6
| tempo | classe | recurso | triplas | |
|---|---|---|---|---|
| 0 | 0.172621 | Acórdão | http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/033.003.508-83-2019-11-20T17%3A30%3A00Z-020.012%2F2018-7 | 1 |
| 1 | 0.111887 | Agente | http://www.sefaz.ma.gov.br/resource/RFB/Agente/14%20LTD | 1 |
| 2 | 0.065510 | Arma | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Arma/5 | 0 |
| 3 | 0.524746 | Arquivo | http://www.sefaz.ma.gov.br/resource/REDESIM/Arquivo/701 | 1 |
| 4 | 0.180287 | Ativa | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/ATIVA-7479142000122-2022_04_11 | 0 |
| ... | ... | ... | ... | ... |
| 132 | 0.067738 | Unidade Federativa | Estado | http://www.sefaz.ma.gov.br/resource/DOMINIO/Unidade_Federativa/MG | 0 |
| 133 | 0.080991 | Unidade Fiscal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Unidade_Fiscal/1 | 0 |
| 134 | 1.540739 | Usuário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Usuario/1088772 | 0 |
| 135 | 0.405419 | Órgão | http://www.sefaz.ma.gov.br/resource/CEIS/Orgao/MINISTÉRIO%20DA%20AGRICULTURA%2C%20PECUÁRIA%20E%20ABASTECIMENTO | 48 |
| 136 | 0.307860 | Evento | http://www.sefaz.ma.gov.br/resource/REDESIM/Evento/691 | 46 |
137 rows × 4 columns
d6[(d6['triplas']==0) | (d6['triplas']==-1)]
| tempo | classe | recurso | triplas | |
|---|---|---|---|---|
| 2 | 0.065510 | Arma | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Arma/5 | 0 |
| 4 | 0.180287 | Ativa | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/ATIVA-7479142000122-2022_04_11 | 0 |
| 7 | 1.961265 | Baixa de Ofício | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/BAIXA_DE_OFICIO-30984323000128-2019_07_17 | 0 |
| 8 | 0.181519 | Baixada | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/BAIXADA-7476781001025-2022_06_02 | 0 |
| 9 | 0.071589 | CEP do Logradouro | http://www.sefaz.ma.gov.br/resource/DOMINIO/CEP_Logradouro/01019030 | 0 |
| 10 | 0.693950 | Cancelada | http://www.sefaz.ma.gov.br/resource/REDESIM/Situacao_Cadastral/CANCELADA-29351027000100-2018_01_03 | 0 |
| 11 | 0.078303 | Caso da consistência | http://www.sefaz.ma.gov.br/resource/Caso_Consistencia/1.1 | 0 |
| 12 | 0.072518 | Caso da similaridade | http://www.sefaz.ma.gov.br/resource/Caso_Similaridade/1 | 0 |
| 13 | 1200.031294 | Cidade | Município | http://www.sefaz.ma.gov.br/resource/DOMINIO/Cidade/VILA%20SAO%20FRANCISCO-AL | -1 |
| 16 | 0.068538 | Consumidor | http://www.sefaz.ma.gov.br/resource/C115/Consumidor/0 | 0 |
| 29 | 0.068879 | Documento | http://xmlns.com/foaf/0.1/Document/CARTEIRA_DE_IDENTIDADE_PROFISSIONAL | 0 |
| 31 | 0.092131 | Emancipado | http://www.sefaz.ma.gov.br/resource/REDESIM/Emancipado/70927600382 | 0 |
| 35 | 110.655733 | Empresa | Organização | Pessoa Jurídica RFB | http://www.sefaz.ma.gov.br/resource/RFB/Empresa/00000000 | -1 |
| 47 | 0.076141 | Entidade Integrada | http://www.sefaz.ma.gov.br/resource/REDESIM/Entidade_Integrada/9921 | 0 |
| 66 | 0.076488 | Infração | http://www.sefaz.ma.gov.br/resource/CEI/Infracao/1 | 0 |
| 70 | 0.079821 | Nacionalidade | http://www.sefaz.ma.gov.br/resource/REDESIM/Nacionalidade/BRASILEIRA | 0 |
| 71 | 0.085267 | Natureza Legal | Natureza Jurídica | http://www.sefaz.ma.gov.br/resource/DOMINIO/Natureza_Legal/1309 | 0 |
| 73 | 0.121751 | Não Contribuinte | http://www.sefaz.ma.gov.br/resource/DOMINIO/Nao_Contribuinte_ICMS/29173 | 0 |
| 75 | 0.062196 | Obrigação | http://www.sefaz.ma.gov.br/resource/CEI/Obrigacao/%20Implantação%20de%20Iluminação%20Pública%20na%20Av.%20Anita%20Viana | 0 |
| 78 | 0.067950 | Opção pelo regime SIMPLES | http://www.sefaz.ma.gov.br/resource/RFB/Opcao_Simples/NAO-00000000 | 0 |
| 80 | 0.075545 | País | http://www.sefaz.ma.gov.br/resource/DOMINIO/Pais/AFEGANISTAO | 0 |
| 81 | 0.080850 | Periodicidade | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Periodicidade/ANUAL | 0 |
| 86 | 0.075139 | Porte da Empresa | Porte Empresarial | Porte | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Porte/PEQUENO_PORTE | 0 |
| 88 | 0.690466 | Protocolo | http://www.sefaz.ma.gov.br/resource/REDESIM/Protocolo/MAP1601343249 | 0 |
| 90 | 2.144888 | Qualificação do Sócio ou Representante | http://www.sefaz.ma.gov.br/resource/DOMINIO/Qualificacao/ACIONISTA | 0 |
| 91 | 0.076311 | Razão | Motivo de Situação Cadastral | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Razao_Situacao_Cadastral/1 | 0 |
| 99 | 0.279381 | Seção CNAE | http://www.sefaz.ma.gov.br/resource/DOMINIO/Atividade_Economica/CNAE_1.0_SECAO-EDUCACAO | 0 |
| 100 | 0.695025 | Situação Cadastral | http://www.sefaz.ma.gov.br/resource/REDESIM/Situacao_Cadastral/ATIVA-10209665000163-2008_07_10 | 0 |
| 101 | 0.213354 | Situação Cadastral Cadastro da SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/BAIXADA-7476781001025-2022_06_02 | 0 |
| 102 | 0.804811 | Situação Cadastral REDESIM | http://www.sefaz.ma.gov.br/resource/REDESIM/Situacao_Cadastral/ATIVA-23667355000134-1989_11_30 | 0 |
| 103 | 0.163161 | Situação Cadastral RFB | http://www.sefaz.ma.gov.br/resource/RFB/Situacao_Cadastral/ATIVA-00000000000191-2005_11_03 | 0 |
| 104 | 0.792793 | Situação Fiscal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Fiscal/12613083-HABILITADO | 0 |
| 105 | 0.063180 | Situação especial | http://www.sefaz.ma.gov.br/resource/RFB/Situacao_Especial/00002342-1998_02_13 | 0 |
| 114 | 0.062567 | Status de Envio | http://www.sefaz.ma.gov.br/resource/REDESIM/Status_Envio/PENDENTE_ENVIO | 0 |
| 118 | 0.155867 | Suspensa de Ofício | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/SUSPENSA_DE_OFICIO-40031232000121-2021_10_12 | 0 |
| 123 | 0.071386 | Tipo Ato | http://www.sefaz.ma.gov.br/resource/REDESIM/Tipo_Ato/INSCRICAO | 0 |
| 124 | 0.096772 | Tipo de Contribuição | http://www.sefaz.ma.gov.br/resource/DOMINIO/Tipo_Contribuicao/NAO_CONTRIBUINTE | 0 |
| 125 | 0.065193 | Tipo de Propriedade | http://www.sefaz.ma.gov.br/resource/REDESIM/Tipo_Propriedade/PROPRIO | 0 |
| 126 | 0.066111 | Tipo de Regime Tributário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Tipo_Regime_Tributario/SIMPLES_NACIONAL | 0 |
| 127 | 0.067425 | Tipo do Estabelecimento | http://www.sefaz.ma.gov.br/resource/DOMINIO/Tipo_Estabelecimento/FILIAL | 0 |
| 132 | 0.067738 | Unidade Federativa | Estado | http://www.sefaz.ma.gov.br/resource/DOMINIO/Unidade_Federativa/MG | 0 |
| 133 | 0.080991 | Unidade Fiscal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Unidade_Fiscal/1 | 0 |
| 134 | 1.540739 | Usuário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Usuario/1088772 | 0 |
p = {'inválida':d6[(d6['triplas']==0) | (d6['triplas']==-1)].shape[0],'válida':d6.shape[0]-d6[(d6['triplas']==0) | (d6['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de propriedades de classes válidas')
fig.show()
d6['erro'] = 'Não'
d6.loc[d6['triplas']==-1,'erro']='Sim'
p = d6['erro'].value_counts().reset_index(name="qtd")
fig = px.pie(p,values='qtd', names='index', title='Percentual de recursos que deram erro')
fig.show()
p = {'nós sem relações':d6[(d6['triplas']==0)].shape[0],'nós com relações':d6.shape[0]-d6[(d6['triplas']==0)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual nós sem relações por classe')
fig.show()
validas = d6[(d6['triplas']!=0) & (d6['triplas']!=-1)]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<30], x="tempo",title="histograma de tempo de execução com tempo [0,30)")
fig.show()
fig = px.histogram(validas[validas['tempo']>=8], x="tempo",title="histograma de tempo de execução com tempo [8,inf)")
fig.show()
Estatísticas para consultas com tempo [0,8)
validas[validas['tempo']<8].describe()
| tempo | triplas | |
|---|---|---|
| count | 77.000000 | 77.000000 |
| mean | 1.250933 | 8.558442 |
| std | 1.849535 | 21.452821 |
| min | 0.080263 | 1.000000 |
| 25% | 0.135926 | 1.000000 |
| 50% | 0.309047 | 2.000000 |
| 75% | 1.273505 | 5.000000 |
| max | 7.667459 | 155.000000 |
Estatísticas para consultas com tempo [8,inf)
validas[validas['tempo']>=8].describe()
| tempo | triplas | |
|---|---|---|
| count | 17.000000 | 17.000000 |
| mean | 48.191297 | 3044.117647 |
| std | 37.490793 | 12493.247806 |
| min | 9.744318 | 2.000000 |
| 25% | 14.675799 | 3.000000 |
| 50% | 28.155243 | 9.000000 |
| 75% | 79.447661 | 12.000000 |
| max | 113.398524 | 51525.000000 |
Recursos com tempo [8,inf)
validas[validas['tempo']>=8].sort_values(by='tempo',ascending=False)
| tempo | classe | recurso | triplas | erro | |
|---|---|---|---|---|---|
| 61 | 113.398524 | Grupo CNAE | http://www.sefaz.ma.gov.br/resource/DOMINIO/Atividade_Economica/CNAE_1.0_GRUPO-ADMINISTRACAO_DO_ESTADO_E_DA_POLITICA_ECONOMICA_E_SOCIAL | 4 | Não |
| 60 | 112.318421 | Grupo | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Empresa/1005728000179 | 9 | Não |
| 128 | 98.438219 | Unidade Consumo | http://www.sefaz.ma.gov.br/resource/C115/Unidade_Consumo/000000000017 | 3 | Não |
| 96 | 83.287157 | Representante Legal Jurídico | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Empresa/1005728000179 | 9 | Não |
| 6 | 79.447661 | Bairro | http://www.sefaz.ma.gov.br/resource/DOMINIO/Bairro/14_DE_NOVEMBRO-CASCAVEL | 55 | Não |
| 32 | 73.019909 | Empresa Holding | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Empresa/1005728000179 | 9 | Não |
| 84 | 59.066261 | Pessoa Física REDESIM | http://www.sefaz.ma.gov.br/resource/REDESIM/Pessoa/725323 | 12 | Não |
| 94 | 37.702425 | Representante Legal | http://www.sefaz.ma.gov.br/resource/REDESIM/Pessoa/725323 | 12 | Não |
| 51 | 28.155243 | Estabelecimento SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Estabelecimento/12000000 | 42 | Não |
| 15 | 27.012853 | Compra Pública | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Compra_Publica/5613 | 2 | Não |
| 48 | 24.926927 | Estabelecimento | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Estabelecimento/12000000 | 42 | Não |
| 36 | 17.896128 | Empresa | Organização | Pessoa Jurídica SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Empresa/12000060 | 6 | Não |
| 116 | 14.675799 | Subclasse CNAE | http://www.sefaz.ma.gov.br/resource/DOMINIO/Atividade_Economica/2731700 | 51525 | Não |
| 64 | 14.316448 | Inadimplência | http://www.sefaz.ma.gov.br/resource/CEI/Inadimplencia/10000100-2875068000140-20%2F09%2F05%2000%3A00%3A00-20%2F09%2F05%2000%3A00%3A00 | 2 | Não |
| 69 | 13.564594 | Logradouro | http://www.sefaz.ma.gov.br/resource/DOMINIO/Logradouro/01001000-SE | 3 | Não |
| 67 | 12.281162 | Item | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Item/1000164055100016398 | 3 | Não |
| 83 | 9.744318 | Pessoa Física Cadastro SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Pessoa/2010305 | 12 | Não |
Exemplo:
SELECT * where {
BIND(<http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/14769662491-10_05_2017-00371520167> as ?node)
?node ?p ?o .
filter(?p != <http://www.w3.org/1999/02/22-rdf-syntax-ns#type>)
filter(isURI(?o))
?o ?p3 ?o2.
filter(?p3 != <http://www.w3.org/1999/02/22-rdf-syntax-ns#type>)
filter(isURI(?o2))
}
d7 = pd.read_csv("pd6.csv")
d7
| tempo | classe | recurso | triplas | |
|---|---|---|---|---|
| 0 | 0.207807 | Acórdão | http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/033.003.508-83-2019-11-20T17%3A30%3A00Z-020.012%2F2018-7 | 0 |
| 1 | 0.068791 | Agente | http://www.sefaz.ma.gov.br/resource/RFB/Agente/14%20LTD | 0 |
| 2 | 0.072835 | Arma | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Arma/5 | 0 |
| 3 | 0.068049 | Arquivo | http://www.sefaz.ma.gov.br/resource/REDESIM/Arquivo/701 | 0 |
| 4 | 0.111163 | Ativa | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/ATIVA-7479142000122-2022_04_11 | 0 |
| ... | ... | ... | ... | ... |
| 132 | 0.062423 | Unidade Federativa | Estado | http://www.sefaz.ma.gov.br/resource/DOMINIO/Unidade_Federativa/MG | 0 |
| 133 | 0.064103 | Unidade Fiscal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Unidade_Fiscal/1 | 0 |
| 134 | 0.066941 | Usuário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Usuario/1088772 | 0 |
| 135 | 0.064279 | Órgão | http://www.sefaz.ma.gov.br/resource/CEIS/Orgao/MINISTÉRIO%20DA%20AGRICULTURA%2C%20PECUÁRIA%20E%20ABASTECIMENTO | 0 |
| 136 | 2.440451 | Evento | http://www.sefaz.ma.gov.br/resource/REDESIM/Evento/691 | 212 |
137 rows × 4 columns
d7[(d7['triplas']==0) | (d7['triplas']==-1)]
| tempo | classe | recurso | triplas | |
|---|---|---|---|---|
| 0 | 0.207807 | Acórdão | http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/033.003.508-83-2019-11-20T17%3A30%3A00Z-020.012%2F2018-7 | 0 |
| 1 | 0.068791 | Agente | http://www.sefaz.ma.gov.br/resource/RFB/Agente/14%20LTD | 0 |
| 2 | 0.072835 | Arma | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Arma/5 | 0 |
| 3 | 0.068049 | Arquivo | http://www.sefaz.ma.gov.br/resource/REDESIM/Arquivo/701 | 0 |
| 4 | 0.111163 | Ativa | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/ATIVA-7479142000122-2022_04_11 | 0 |
| ... | ... | ... | ... | ... |
| 127 | 0.060673 | Tipo do Estabelecimento | http://www.sefaz.ma.gov.br/resource/DOMINIO/Tipo_Estabelecimento/FILIAL | 0 |
| 132 | 0.062423 | Unidade Federativa | Estado | http://www.sefaz.ma.gov.br/resource/DOMINIO/Unidade_Federativa/MG | 0 |
| 133 | 0.064103 | Unidade Fiscal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Unidade_Fiscal/1 | 0 |
| 134 | 0.066941 | Usuário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Usuario/1088772 | 0 |
| 135 | 0.064279 | Órgão | http://www.sefaz.ma.gov.br/resource/CEIS/Orgao/MINISTÉRIO%20DA%20AGRICULTURA%2C%20PECUÁRIA%20E%20ABASTECIMENTO | 0 |
84 rows × 4 columns
p = {'inválidas':d7[(d7['triplas']==0) | (d7['triplas']==-1)].shape[0],'válidas':d7.shape[0]-d7[(d7['triplas']==0) | (d7['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de recursos com duas propriedades em cadeia por classe válidos')
fig.show()
d7['erro'] = 'Não'
d7.loc[d7['triplas']==-1,'erro']='Sim'
p = d7['erro'].value_counts().reset_index(name="qtd")
fig = px.pie(p,values='qtd', names='index', title='Percentual de recursos que deram erro')
fig.show()
validas = d7[(d7['triplas']!=0) & (d7['triplas']!=-1)]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<=19], x="tempo",title="histograma de tempo de execução com tempo [0,19]")
fig.show()
Estatísticas para consultas com tempo [0,8)
validas[validas['tempo']<8].describe()
| tempo | triplas | |
|---|---|---|
| count | 50.000000 | 50.000000 |
| mean | 1.844999 | 10.960000 |
| std | 2.185080 | 29.741718 |
| min | 0.123089 | 1.000000 |
| 25% | 0.290937 | 2.000000 |
| 50% | 0.866066 | 4.000000 |
| 75% | 2.880930 | 10.000000 |
| max | 7.206331 | 212.000000 |
Estatísticas para consultas com tempo [8,inf)
validas[validas['tempo']>=8].describe()
| tempo | triplas | |
|---|---|---|
| count | 3.000000 | 3.000000 |
| mean | 77.566573 | 39098.000000 |
| std | 113.947121 | 67608.887559 |
| min | 10.779650 | 17.000000 |
| 25% | 11.781716 | 64.000000 |
| 50% | 12.783781 | 111.000000 |
| 75% | 110.960034 | 58638.500000 |
| max | 209.136287 | 117166.000000 |
Consultas com tempo [8,inf)
validas[validas['tempo']>=8].sort_values(by='tempo',ascending=False)
| tempo | classe | recurso | triplas | erro | |
|---|---|---|---|---|---|
| 36 | 209.136287 | Empresa | Organização | Pessoa Jurídica SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Empresa/12000060 | 17 | Não |
| 34 | 12.783781 | Empresa | Organização | Pessoa Jurídica REDESIM | http://www.sefaz.ma.gov.br/resource/REDESIM/Empresa/16506549 | 111 | Não |
| 35 | 10.779650 | Empresa | Organização | Pessoa Jurídica RFB | http://www.sefaz.ma.gov.br/resource/RFB/Empresa/00000000 | 117166 | Não |